Ông cụ là Lưu Thuần, làm đến Chánh viên lang. Thuần là em của Vũ Nguyên huyện lệnh Lưu Hỗn, ông cụ của Lưu Tống Vũ đế Lưu Dụ. Ông nội là Lưu Nham, làm đến Hải Tây huyện lệnh. Cha là Lưu Quyên Tử, làm đến Bành Thành nội sử.

Bấy giờ Lưu Dụ là quyền thần nhà Đông Tấn, mà các con của ông ta còn nhỏ tuổi, các em đã mất (Lưu Đạo Quy) hoặc bất tài (Lưu Đạo Liên), họ hàng chỉ có Tuân Khảo là dùng được. Ban đầu Tuân Khảo được làm Chấn vũ tham quân, tham giao đánh dẹp khởi nghĩa Lư Tuần, phong Hương hầu. Tuân Khảo được kế tự cha làm Kiến uy tướng quân, Bành Thành nội sử, theo Lưu Dụ bắc phạt Hậu Tần. Sau khi quân Tấn chiếm Trường An, được làm Đốc Tịnh Châu, Ti Châu chi Bắc Hà Đông, Bắc Bình Dương, Bắc Ung Châu chi Tân Bình, An Định 5 quận chư quân sự, Phụ quốc tướng quân, Tịnh Châu thứ sử, lĩnh Hà Đông thái thú, trấn Bồ Phản. Sau khi Quan Trung bị quân Hạ chiếm mất, Tuân Khảo về nam, được trừ hiệu Du kích tướng quân, rồi thăng Quan quân tướng quân. Sau khi Tấn Cung đế bị phế, ra ở cung Mạt Lăng, Tuân Khảo lĩnh binh canh giữ.